iT邦幫忙

2021 iThome 鐵人賽

DAY 3
0
AI & Data

從資料庫到資料分析視覺化系列 第 3

{DAY 3}如何處理一筆數據?(下)

  • 分享至 

  • xImage
  •  

前言

第三天要延續介紹如何處理一筆數據。

對於數據分析的用途跟前幾個步驟

請看上一篇文章

數據分析的流程

3.資料清洗(Data Cleaning)

當我們準備好所有食材就可以攪一攪變成蛋糕糊了嗎?

不可能!!

蛋糕是非常精緻的甜點,

每一個食材都有食譜

食譜上會有該要的比例,

就像不是所有數據一拿到手就是完美無缺的

可以想像我們平常在填表單的時候,

遇到單選題可能會多填到其他選項或是忽略某些題目,

回答問題打錯字、英文大小寫搞混的情況。

這時候資料就會出現缺失值、異常值等等,

資料清洗這時候就會派上用場!

就像是將所有食材依照食譜的指示,

變成可以做成蛋糕的完美比例

可以用SQL或是Python的套件Pandas

來將這些雜訊整理成方便後續處理的數據

4. 資料分析(Data Analysis):

當材料都按照食譜的比例準備好後,

就要開始一步一步放到攪拌機攪拌了~

資料分析也是會依照不同業務應用而有不同的分析手法,

有些人會使用常見的數據分析工具像是SPSS, R, Python進行統計分析,

這個階段也會需要使用到統計學的相關知識,

像是集中趨勢、離散、假設檢定、迴歸分析

數據分析工具就像是攪拌機,而統計知識就像是不同的加入步驟

需要按照不同的食材屬性,分次加入,

再用攪拌機,將他們攪拌均勻,變成蛋糕糊

蛋糕糊放進去烤模裡就可以準備進烤箱烤摟!

我在這個計畫裡選擇利用視覺化進行資料分析,

將敘述性分析的數據利用可視化的圖表展示,

選擇Python的套件,Seaborn和Metplotlib

這幾個工具就像是烤箱,把烤模裡的蛋糕糊

Do Rei Me So~~~

https://miro.medium.com/max/1000/1*VgWAlH4fjAqxXgkTfTVAAQ.jpeg

變成漂亮的蛋糕,如同繪製不同類型的圖表,

我將在計畫中學習挑選圖表以應用在合適的資料場景中

並且學習從視覺化的圖表裡,

洞察出一筆資料的有效消息。

其實資料分析這個步驟裡,可以涉及的範圍相當廣

包含資料探勘(Data Mining)和機器學習(Machine Learning)

但我在這個計畫裡先不涉及這兩個部分

5.協助決策進行:

TADA!

蛋糕烤完,可以開吃!!!

在完成上述所有流程後,就可以藉由產出的分析結果

協助決策的選擇

所有的食材,經過一番精緻的處理後,變成一個美味可口的蛋糕

所有雜亂的數據,也經過好好的整理、分析、視覺化,

變成有價值的決策協助工具了~~~

這就是通常在面對一筆雜亂的數據,

會進行的資料分析流程


上一篇
{DAY 2} 如何處理一筆數據?(上)
下一篇
{DAY4} 資料庫簡介
系列文
從資料庫到資料分析視覺化30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言